BigQueryのテーブルでパーティション数の上限が増えました

BigQueryのテーブルでパーティション数の上限が増えました

Clock Icon2024.05.30

Google Cloudデータエンジニアのはんざわです。
2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。
これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。

BigQuery release notes: 5月29日 2024

個人的には大きなアップデートだと思うので早速ブログを執筆しています!

どれくらい増えるのか

今回のアップデートでパーティション数の上限が4000から10000に増加しました
これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。

項目 アップデート前 アップデート後
パーティション数の上限 4000 10000
日次パーティションの対応年数 約11年 約27年

元々の最大年数が約11年だったのに対し、上限増加のおかげで約27年分のパーティションを分割することができるようになりました!

Quotas and limits: Partitioned tables

まとめ

今回のBigQueryのパーティション数の上限増加に関するアップデート情報を紹介しました。

元々、BigQueryで日付やタイムスタンプによるパーティション分割されたテーブルの作成可能になったのが2016年頃でした。
もし今回の上限増加がなかった場合、サービス開始当初から日次パーティションを利用しているユーザーは、あと数年で限界を迎えていた恐れがありました。
その場合、古いデータを別のテーブルに移動させたり、古いデータを削除したりと何らかの対策を練る必要がありました。
今回のアップデートで上限が増えたことにより、そのような心配が不要になったのは良かったと思います。

今後も安心してBigQueryを利用していただきたいです!

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.